Benchmark Everything Everywhere All at Once
全自主代理系统按需构建多模态评测基准
🧭 Agent 系统自主构建评测基准 ★ 深度解读
The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Shandong University · Huawei Technologies · Shenzhen Loop Area Institute
首个全自主代理系统，将评测基准构建从人力驱动转变为自动规划、执行与刷新的可定制化流程
📌 工作参考价值（4 点）
- 长周期任务的分层规划：Benchmark Planner（设计-接地-分配）与 Executor（样本规划-执行-校验）的解耦设计，直接适用于电商 Agent 中的多步推荐流程编排，例如将“生成个性化推荐理由”拆解为子任务并分配数据源与转换工具。
- 闭环质量保障机制：Verification 与配额补充（Verification-guided replenishment）可迁移到自动标注 pipeline，对生成式推荐的样本实施语义校验、格式合规检查，不合格样本回炉重造，保证产出质量。
- 用户意图到任务规格的自动转化：Design Agent 将模糊需求分解为结构化 subtask 的思路，可用于根据运营目标（如提升点击率）自动生成 A/B 测试的评估方案或推荐模型评测集。
- 低成本持续刷新能力：Benchmark Agent 的快速迭代特性（人类标注 5-6 min/样本 vs. Agent 0.2-0.3 min）提示，电商推荐中的离线评估集可以随模型升级和业务变化自动更新，维持区分度，避免饱和。